EAServe: Encode-Aware Disaggregated Serving for Multimodal Large Language Models
EAServe：面向多模态大模型的编码感知分离式服务
🧭 多模态 LLM 推理服务 · 分离式流水线优化
University of Georgia · Western Digital · University of Texas at Arlington
将多模态 LLM 的 Encode 阶段作为 EPD 流水线控制点，通过自适应微批处理、部分卸载与动态 SM 划分，在 SLO 约束下显著提升 goodput
📌 工作参考价值（4 点）
- 把轻量前置阶段作为控制点：参考 EAServe 将 Encode 作为 EPD 流水线控制点的思路，在推荐系统中将图像/视频 embedding、特征编码等轻量前置阶段与主模型解耦，通过速率控制动态调节下游请求流，避免下游 Prefill/Decode 饥饿。
- 动态 SM 划分实现可预测共置：当需要把多个阶段部署在同一 GPU 上时，采用动态 SM partitioning 保证各阶段的算力隔离与可预测性能，适合广告/推荐系统中多个小模型或 embedding 服务共置的场景。
- 配置自动搜索减少人工调参：借鉴 HAS 的两阶段方法——先用 per-stage capacity profiling 剪枝明显不均衡的配置，再用 TPE 贝叶斯优化精细搜索，可自动化调优推荐系统多阶段推理 pipeline 的 batch size、worker 分配等参数。
- SLO 约束下的 goodput 优化：直接关注在尾延迟 SLO 下最大化吞吐，这对电商/广告在线推理服务更具业务价值，而非单纯追求平均延迟或吞吐。